ภายหลังจากอิตาลีได้เข้าสู่สงครามโลกครั้งที่สอง เมื่อวันที่ 6 ธันวาคม ค.ศ. 1940 กาวัลเลโรได้เข้ามาแทนที่จากปีเอโตร บาโดลโย ในฐานะที่เป็นหัวหน้าฝ่ายเสนาธิการการป้องกัน ไม่นานหลังจากนั้น เขาได้ถูกส่งไปเป็นผู้บัญชาการกองทัพอิตาลีที่ได้มีส่วนเกี่ยวข้องกับสงครามอิตาลี-กรีซที่ไม่ประสบความสำเร็จจนถึงฤดูใบไม้ร่วงของปี ค.ศ. 1941 ในขณะที่เขาได้จัดการในการหยุดยั้งการรุกของกรีซ กาวัลเลโรไม่อาจหยุดยั้งไว้ได้จนถึงกับต้องจนมุมแต่เยอรมันก็ได้เข้ามาแทรกแซงไว้ได้ ในขณะเดียวกัน บทบาทของเขาในฐานะหัวหน้าฝ่ายเสนาธิการได้ถูกแต่งตั้งเพิ่มเติมโดยนายพล อัลเฟรโด กุซโซนี

ในฐานะที่เป็นหัวหน้ากองบัญชาการทหารสูงสุดแห่งอิตาลี เขาได้ทำงานอย่างใกล้ชิดกับจอมพลเยอรมัน อัลแบร์ท เค็สเซิลริง เขาได้มีความสัมพันธ์ที่ค่อนข้างขัดแย้งกับจอมพล แอร์วีน ร็อมเมิล ซึ่งได้รุกเข้าสู่อียิปต์ ภายหลังจากความสำเร็จของเขาในยุทธการที่กาซาลาซึ่งเขาไม่เห็นด้วย ได้สนับสนุนแทนที่ในการวางแผนการบุกครองที่มอลตา อย่างไรก็ตาม ความคิดเห็นของเขาได้ตกลงไป ภายใต้ความเป็นผู้นำของกาวัลเลโร กองทัพทหารอิตาลียังคงปฏิบัติหน้าที่ที่ไม่ดีนัก ถึงกระนั้นเขาก็ได้รับการเลื่อนตำแหน่งยศเป็นจอมพลแห่งอิตาลีในปี ค.ศ. 1942 ภายหลังจากการเลื่อนตำแหน่งยศแก่ร็อมเมิลเป็นจอมพล(ส่วนใหญ่เพื่อป้องกันร็อมเมิลจากตำแหน่งยศที่สูงกว่าเขา) แม้จะมีความเข้าใจที่ดีต่อปัญหาที่เกิดขึ้นในสงครามในทะเลเมดิเตอร์เรเนียนที่อิตาลีต้องต่อสู้รบ เขาได้นิ่งเฉยต่อมุมมองของมุสโสลินี(จากตัวอย่างที่เขาได้ยืนกรานในการขยายการต่อสู้ของเหล่าทหารอิตาลีบนแนวรบด้านตะวันออก)จนนำไปสู่การแพร่กระจายอย่างร้ายแรงต่อทรัพยากรที่มีน้อยของอิตาลี

ในเดือนมกราคม ค.ศ. 1943 ภายหลังจากได้พ่ายแพ้อย่างราบคาบในการทัพแอฟริกาและประสบการถูกตีกลับโดยกองทัพอิตาลีในดินแดนรัสเซีย กาวัลเลโรก็ได้ถูกปลดออกและแทนที่โดยนายพล วิตโตริโอ แอมโบรซิโอ ด้วยผลสะท้อนต่อการปลดกาวัลเลโรออก สมาชิกผู้นำฟาสซิสต์ เช่น กาลีซโซ ชิอาโน ซึ่งเป็นศัตรูกับเขาอย่างเปิดเผย ได้แสดงความยินดีอย่างออกหน้าออกตา

ภายหลังจากรัฐบาลของมุสโสลินีถูกโค่นล้มโดยพระมหากษัตริย์ นายกรัฐมนตรีคนใหม่ที่ได้รับการแต่งตั้งคือปีเอโตร บาโดลโย ได้ออกคำสั่งให้ทำการจับกุมกาวัลเลโร ในเอกสารที่เขาเขียนขึ้นในการปกป้องตัวเอง กาวัลเลโรได้อ้างว่าเขาได้ต่อต้านมุสโสลินีและระบอบการปกครองของเขา ภายหลังจากการสงบศึกที่คัสซิบิล(Armistice of Cassibile)ในเดือนกันยายน ค.ศ. 1943 เยอรมันได้ปลดปล่อยเขา เค็สเซิลริงได้เสนอให้กาวัลเลโรบัญชาการต่อกองทัพแห่งสาธารณรัฐสังคมนิยมอิตาลีที่เพิ่งก่อตั้งขึ้นมาใหม่ แต่ได้มีการค้นพบถึงจดหมายทำให้มีบางครั้งได้ตั้งคำถามถึงความจงรักภักดีของเขา

ในช่วงเช้าวันที่ 14 กันยายน ค.ศ. 1943 เขาได้ถูกพบว่าเสียชีวิตแล้วโดยถูกยิงที่สวนของโรงแรมในฟรัสกาตี ภายหลังจากที่ได้รับประทานอาหารและพูดคุยกับเค็สเซิลริงเมื่อคืนก่อน มันยังได้มีการถกเถียงกันว่าเขาได้ฆ่าตัวตายหรือถูกลอบสังหารโดยเยอรมัน อย่างไรก็ตาม, ดูเหมือนว่าเขาได้แสดงเจตจำนงอันแน่วแน่ที่จะปฏิเสธในการร่วมมือกับเยอรมันอีกต่อไป